Data Engineer (Middle/Senior) (ХОЛД)

Наш стек: Greenplum, Trino, Apache Airflow, ClickHouse, Python, Spark, SQL (dbt), S3, Hadoop

- Разработка, реализация и поддержка интеграционных потоков, а также потоков сборки витрин-данных на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink

- Разработка нетиповых интеграций (в тч SAP)

- Системная разработка инструментов (переиспользуемых шаблонов) обработки данных

- Разработка системного дизайна сложных решений (C2/DD)

- Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение типовых задач в установленный срок

- Поддержание в актуальном состоянии документации типовых интеграционных решений платформы больших данных. Предоставление отчетности о своей деятельности руководителю.

- Общее представление о стеке технологий Lakehouse

- Понимание различия работы между BigData/Lakehouse и с данными обычного размера

- Знание SQL (индексы, функции, оптимизация, профилирование производительности

- Знание языков программирования (JAVA, Python)

- Опыт работы c реляционными БД (Oracle, Postgres, MySQL, MsSQL,т.п.)

- Умение работать с Git (знание команд git pull/commit/push)

- Опыт работы с DBT, Cosmos, Ni-Fi

- Опыт разработки на Spark

- Навыки использования компонентов экосистемы Hadoop: Yarn, Ranger, Zookeeper, Hive metastore

- Понимание особенностей Trino

- Понимание форматов данных Iceberg, Parquet, Avro

- Понимание работы с minio или любого другого хранилища на основе S3

- Опыт использования системами ведения проектов и документации

- Опыт разработки нетиповых интеграций (включая SAP-системы)

- Опыт разработки near-realtime потоков (Flink, Debezium)

- Опыт оптимизации высоконагруженных потоков (миллиарды записей инкремента) с использованием инструментов Observability (grafana, victoria metrics, zabbix)

Развитие и обучение

Проекты для крупного бизнеса, внутренние митапы и разговорные клубы английского языка

Забота и поддержка

Служба заботы о сотрудниках и индивидуальное сопровождение каждого коллеги на всех этапах развития в компании. А еще — ДМС со стоматологией и регулярная обратная связь

Комфорт

Работа в аккредитованной IT-компании, зарплата по рынку, техника для работы и человекоцентричный подход, где сотрудник = внутренний клиент компании

Драйвовое комьюнити

Команда прокаченных специалистов, внутренние события и уникальная корпоративная культура с маскотом IT-тигром и поддерживающим комьюнити